En el campo de la inteligencia artificial, las técnicas de post-entrenamiento se están convirtiendo en una herramienta clave para mejorar el rendimiento de los modelos. Recientemente, el Instituto de Inteligencia Artificial Allen (AI2) ha publicado la serie de modelos Tülu3, un conjunto de modelos de lenguaje avanzados completamente de código abierto, con un rendimiento comparable a modelos propietarios como GPT-4o-mini. Tülu3 incluye no solo los datos del modelo, el código y las recetas de entrenamiento, sino también un marco de evaluación, con el objetivo de impulsar el desarrollo de técnicas de post-entrenamiento para modelos de código abierto. Tradicionalmente, los modelos que solo han sido pre-entrenados a menudo no satisfacen las necesidades de las aplicaciones reales de manera efectiva, pudiendo...

El Instituto de Inteligencia Artificial Allen (AI2) ha lanzado OLMoE, un modelo de lenguaje grande de código abierto diseñado para ofrecer un alto rendimiento a bajo coste. Este modelo utiliza una arquitectura de expertos mixtos dispersos (MoE), con 7 mil millones de parámetros, pero mediante un mecanismo de enrutamiento inteligente, cada token de entrada solo utiliza 1 mil millones de parámetros, lo que permite un cálculo eficiente. OLMoE incluye versiones de ajuste general e instrucciones, y admite una ventana de contexto de 4096 tokens. Sus datos de entrenamiento provienen de diversas fuentes, incluyendo Common Crawl, Dolma CC y Wikipedia.

FLUX.1, una plataforma de modelos grandes de código abierto desarrollada por el experto en generación de imágenes con IA Robin Rombach, utiliza una arquitectura Vision Transformer de 12.000 millones de parámetros, entrenamiento de coincidencia de flujo y técnicas de incrustación de posición rotacional, superando considerablemente a modelos cerrados como DALL·E 3, Midjourney V6 y la serie SD3. En cuanto a rendimiento, FLUX.1 destaca en la reproducción semántica de texto, calidad de imagen, coherencia de movimiento, coherencia y diversidad, incluso en la generación de texto...

El modelo Llama 3.1, publicado por Meta AI, compite en rendimiento con los modelos propietarios de primer nivel, lo que supone un gran avance para la IA de código abierto. Se trata de un modelo lingüístico grande de nueva generación, respaldado por una pila de entrenamiento optimizada y recursos de computación GPU a gran escala, que presenta varias características destacadas. Entre ellas, se incluye una longitud de contexto ampliada a 128 K, compatibilidad con 8 idiomas y un rendimiento excepcional en diversas áreas de prueba. Mediante un proceso iterativo de post-entrenamiento, el modelo mejora continuamente su rendimiento, especialmente en el seguimiento de instrucciones, la coherencia y la traducción entre múltiples idiomas.

En la Conferencia Mundial de Inteligencia Artificial de Shanghai, el CTO de Alibaba Cloud, Zhou Jingren, anunció los últimos avances del modelo Tongyi y de la plataforma Bainian de Alibaba Cloud. Las descargas del modelo de código abierto Tongyi Qianwen se triplicaron en dos meses, superando los 20 millones. Al mismo tiempo, el número de clientes de los servicios de Alibaba Cloud Bainian aumentó de 90.000 a 230.000, lo que representa un crecimiento superior al 150%.

DeepSeek ha anunciado recientemente el lanzamiento de DeepSeek-Coder-V2, un modelo de código abierto que supera a GPT-4-Turbo en capacidades de codificación y matemáticas, con una expansión significativa en el soporte multilingüe y la longitud del contexto. Basado en la arquitectura del modelo DeepSeek-V2, DeepSeek-Coder-V2 emplea una arquitectura de mezcla de expertos (MoE) diseñada específicamente para mejorar las capacidades de razonamiento de código y matemáticas.

La empresa ZeroOne AI ha anunciado la publicación del modelo Yi-9B de código abierto. Yi-9B es el modelo más potente de la serie Yi en cuanto a capacidades de código y matemáticas. Yi-9B presenta un rendimiento excepcional en capacidades generales, de código y matemáticas. Yi-9B se puede implementar fácilmente en tarjetas gráficas de consumo. La empresa fue fundada por Kai-Fu Lee, presidente y CEO de Sinovation Ventures.

OrionStar ha lanzado el modelo OrionStar-Yi-34B-Chat basado en el código abierto de Lingyi Wanwu, con uso comercial gratuito. Este modelo destaca en los dos benchmarks de evaluación en chino, C-Eval y C-MMLU. OrionStar-Yi-34B-Chat es una excelente alternativa de código abierto a ChatGPT. El modelo ofrece las ventajas de alto rendimiento, código abierto completo y uso comercial gratuito. OrionStar es un proveedor de soluciones de servicio de inteligencia artificial, cuyos productos principales son...

El modelo de caché semántico ModelCache de código abierto para el modelo de código grande CodeFuse de Ant Group. La arquitectura de ModelCache incluye los módulos adapter, embedding, similarity y data_manager. ModelCache puede reducir el costo de inferencia de las aplicaciones de modelos grandes y mejorar la experiencia del usuario. Con un acierto en la caché, el tiempo medio de respuesta se puede reducir en un factor de 10, con una aceleración de hasta el 14,5%. ModelCache continuará optimizando su rendimiento y precisión.

DeepSeek (búsqueda profunda) ha lanzado el modelo de código abierto DeepSeek Coder. DeepSeek Coder es un asistente de código inteligente que puede generar diversos tipos de código. DeepSeek Coder ya está disponible en código abierto en Hugging Face y GitHub. DeepSeek Coder ha demostrado un excelente rendimiento en las pruebas realizadas con conjuntos de datos internacionales de referencia. DeepSeek está comprometido con la exploración de la naturaleza de la AGI, y...